Cut-off point, sensitivity and specificity for screening the reading fluency in children. / Pontos de corte, sensibilidade e especificidade para rastreamento da fluência leitora em crianças.

PURPOSE: to establish cut-off point for reading speed and accuracy, to obtain minimum values for comprehending texts, and allow classifying students from 2nd to 5th grade of elementary school according to good or poor reading performance. METHODS: 147 assessment protocols for oral reading and text comprehension of students from 3rd to 5th grade of Elementary School with and without reading difficulties were analyzed. The oral text reading rate and accuracy values were analyzed. ROC curves were constructed, and sensitivity and specificity calculated for each reading fluency parameter, and each school grade. RESULTS: Sensitivity and specificity for measures of rate and accuracy in text reading were calculated for the 3rd, 4th, and 5th grades. Rate and precision under the ROC curve did not differ statistically. The values for the 2nd grade were mathematically estimated. CONCLUSION: The cutoff values expected for students from 2nd to 3rd grade were identified, with recommendations for using the oral text reading rate for reading comprehension screening procedures.

OBJETIVO: estabelecer pontos de corte para valores de velocidade e acurácia de leitura, a fim de obter valores mínimos para compreensão de textos, e permitir classificar alunos de 2º a 5º ano do Ensino Fundamental, de acordo com bom ou pobre desempenho em leitura. MÉTODO: foram analisados ​​147 protocolos de avaliação de leitura oral e compreensão textual de escolares de 3º a 5º ano com e sem dificuldades de leitura. A taxa de leitura oral de texto e os valores de acurácia foram analisados. Curvas ROC foram construídas e a sensibilidade e a especificidade, calculadas para cada parâmetro de fluência de leitura por ano escolar. RESULTADOS: A sensibilidade e a especificidade para medidas de taxa e acurácia na leitura de texto foram calculadas para o 3º, 4º e 5º anos. A taxa e a precisão sob a curva ROC não diferiram estatisticamente. Os valores do 2º ano foram estimados matematicamente. CONCLUSÃO: Foram identificados os valores de corte esperados para escolares do 2º ao 5º ano, com recomendações de utilização da taxa de leitura de texto oral para procedimentos de rastreamento da compreensão leitora.

Pontos de corte, sensibilidade e especificidade para rastreamento da fluência leitora em crianças / Cut-off point, sensitivity and specificity for screening the reading fluency in children

RESUMO Objetivo estabelecer pontos de corte para valores de velocidade e acurácia de leitura, a fim de obter valores mínimos para compreensão de textos, e permitir classificar alunos de 2º a 5º ano do Ensino Fundamental, de acordo com bom ou pobre desempenho em leitura. Método foram analisados ​​147 protocolos de avaliação de leitura oral e compreensão textual de escolares de 3º a 5º ano com e sem dificuldades de leitura. A taxa de leitura oral de texto e os valores de acurácia foram analisados. Curvas ROC foram construídas e a sensibilidade e a especificidade, calculadas para cada parâmetro de fluência de leitura por ano escolar. Resultados A sensibilidade e a especificidade para medidas de taxa e acurácia na leitura de texto foram calculadas para o 3º, 4º e 5º anos. A taxa e a precisão sob a curva ROC não diferiram estatisticamente. Os valores do 2º ano foram estimados matematicamente. Conclusão Foram identificados os valores de corte esperados para escolares do 2º ao 5º ano, com recomendações de utilização da taxa de leitura de texto oral para procedimentos de rastreamento da compreensão leitora.

ABSTRACT Purpose to establish cut-off point for reading speed and accuracy, to obtain minimum values for comprehending texts, and allow classifying students from 2nd to 5th grade of elementary school according to good or poor reading performance. Methods 147 assessment protocols for oral reading and text comprehension of students from 3rd to 5th grade of Elementary School with and without reading difficulties were analyzed. The oral text reading rate and accuracy values were analyzed. ROC curves were constructed, and sensitivity and specificity calculated for each reading fluency parameter, and each school grade. Results Sensitivity and specificity for measures of rate and accuracy in text reading were calculated for the 3rd, 4th, and 5th grades. Rate and precision under the ROC curve did not differ statistically. The values for the 2nd grade were mathematically estimated. Conclusion The cutoff values expected for students from 2nd to 3rd grade were identified, with recommendations for using the oral text reading rate for reading comprehension screening procedures

Programa de estimulação no ambiente educacional para aprimoramento de habilidades subjacentes à leitura / Stimulation program in an educational setting for improvement of skills underlying reading

RESUMO Objetivo elaborar e investigar o efeito de um programa de estimulação de habilidades cognitivo-linguísticas preditoras da decodificação leitora, orientado para a melhora das habilidades subjacentes à leitura. Métodos pesquisa prospectiva, de análise quantitativa. Participaram 124 crianças de 1º a 3º ano do Ensino Fundamental I de uma escola pública de São Paulo, distribuídas em: Grupo Pesquisa - 62 escolares que passaram por intervenção; Grupo Controle: 62 escolares que não receberam estimulação. Avaliaram-se individualmente (pré e pós-intervenção) parâmetros de fluência leitora (taxa e acurácia) em tarefa com palavras isoladas. O programa contou com tarefas destinadas a estimular a discriminação auditiva, conhecimento morfossintático, acesso fonológico ao léxico mental, consciência fonológica, conhecimento do código escrito, fluência leitora e o vocabulário visual de palavras e foi construído para aprimorar, em dez sessões de estimulação coletiva, a decodificação e reconhecimento automático de palavras. Resultados o Grupo Pesquisa apresentou maiores diferenças de acurácia e escore na leitura de palavras, quando comparados os resultados das avaliações pré e pós-intervenção com os do Grupo Controle. Conclusão: o programa promoveu a fluência leitora de escolares do 1º e 2º anos do Ensino Fundamental I. Incrementos significativos foram observados para a discriminação auditiva, consciência fonológica e automaticidade leitora, com variações em função do ano escolar.

ABSTRACT Purpose To develop and investigate the effect of a program that stimulates cognitive-linguistic skills predictive of phonological decoding skills aimed at improving of skills underlying reading. Methods The research design was a prospective cohort study with quantitative analysis. A total of 124 1st - 3rd grade children from a public Ensino Fundamental I school in São Paulo, participated in the study, divided into: Research Group - 62 students who underwent intervention; Control Group: 62 students who did not receive stimulation. Reading fluency parameters (rate and accuracy) were individually evaluated (pre- and post-intervention) in a task with isolated words. The program had tasks designed to stimulate auditory discrimination, morphosyntactic knowledge, phonological access to the mental lexicon, phonological awareness, knowledge of the written code, reading fluency and the visual vocabulary of words. It was built to improve decoding and automatic word recognition skills in ten sessions of collective stimulation. Results The Research Group showed greater differences in accuracy and score in word reading, when comparing the results of pre- and post-intervention assessments, than the Control Group. Conclusion The program promoted the reading fluency of 1st and 2nd grade students. Significant increments were observed for auditory discrimination, phonological awareness and reading automaticity with variations depending on the grade.

Reading Comprehension Tests for Children: Test Equating and Specific Age-Interval Reports.

Equating is used to directly compare alternate forms of tests. We describe the equating of two alternative forms of a reading comprehension test for Brazilian children (2nd to 5th grade), Form A (n = 427) and Form B (n = 321). We employed non-equivalent random groups design with internal anchor items. Local independence was attested via standardized residual Pearson's bivariate correlation. First, from 176 items, we selected 42 in each form (33 unique and 9 in common) using 2PL model, a one-dimensional item response theory (IRT) model. Using the equateIRT package for R, the anchor items were used to link both forms. Linking coefficients were estimated under two different methods (Haebara and Stocking-Lord), resulting in scores equating by two methods: observed score equating (OSE) and true score equating (TSE). We provided reference-specific age-intervals for the sample. The final version was informative for a wide range of theta abilities. We concluded that the forms could be used interchangeably.

Reading comprehension assessment: effect of order of task application.

PURPOSE: To investigate the influence of order of reading tasks application on the reading comprehension performance by students with and without reading difficulties. METHODS: 40 students (4th and 5th grade) were classified according to the presence (Research Group-RG) or absence (Control Group-CG) of reading difficulties. RG-r and CG-r - 20 students (10 for each group) who retold the read text and responded to open-ended questions; RG-q and CG-q - 20 students (10 for each group) who responded to open-ended questions and then retold the read text. The analysis quantified the main idea, details and inferences retold, causal links and retelling reference standard (3-0) was also established from the best to the worst performance. Open-ended questions received one point for each correct answer. RESULTS: Open-ended questions influenced only the retelling performance of good readers. A better performance of CG-q was noted for the number of second level links retold (U=50.50, p=0.155), total of links retold (U=23,00, p=0.038) and retelling reference standard (U=24.50, p=0.039). Reading-monitoring strategies are laborious and tend to be less used by students with reading difficulties. This is because these compete directly with low-level skills (decoding and microstructure processing), losing efficiency or being abandoned in the very course of reading. CONCLUSION: There was improvement on the retelling performance of students without reading difficulties when this task was preceded by the open-ended questions, possibly because of the use of monitoring strategies that allowed a better understanding of the link between the retained ideas, improving links and retelling reference standard.

Efeito da simplificação sintática sobre a compreensão de leitura de crianças do ensino fundamental / Effects of syntactic simplification on reading comprehension of Elementary School students

RESUMO Objetivo Investigar o efeito da estratégia de simplificação sintática de textos sobre o desempenho em compreensão leitora de escolares de 20 a 40 ano do ensino fundamental. Métodos Estudo transversal, analítico, caso controle. Participaram 112 escolares do ensino público, do 20 ao 40 ano escolar. Os participantes foram distribuídos em Grupo TO - expostos ao texto expositivo original e Grupo TS - expostos ao texto simplificado. Os grupos foram pareados segundo acurácia e não diferiram quanto à capacidade de compreensão leitora. O texto original foi submetido às seguintes modificações sintáticas: divisão de sentenças complexas, simplificação de marcadores discursivos, supressão de voz ativa e anáforas, inversão na ordem de cláusulas, com deslocamento da sentença principal para o início e utilização exclusiva da ordenação sujeito-verbo-objeto. Para atestar a simplificação, utilizou-se a ferramenta computadorizada CohMetrix-Port. A análise da compreensão por meio dos recontos dos textos lidos computou o total de ideias (centrais, detalhes) e de enlaces recontados. Resultados A análise comparativa dos grupos identificou diferenças quanto ao total de ideias centrais (U=1029,5, p=0,001), de detalhe (U=599,5, p=0,000) e total de ideias recontadas (U=1247,5, p=0,041), com melhor desempenho para o Grupo TS. A análise da escolaridade mostrou que o 30 e o 40 ano mais se beneficiaram da simplificação sintática. Conclusão A simplificação dos textos, atestada pelos parâmetros do CohMetrix-Port, produziu efeitos de facilitação sobre o processamento microestrutural do texto de escolares do 30 e 40 anos do ensino fundamental, promovendo maior retenção das ideias.

ABSTRACT Purpose To investigate the effects of Syntactic text simplification on the reading comprehension performance of Elementary School students. Methods Cross-sectional, analytical, case-control study. Study participants were 112 students regularly enrolled in the 2nd-4th grades of public Elementary Schools. Participants were divided into two groups: Group OT - students exposed to the original expository text and Group ST - students exposed to the simplified expository text. The groups were matched for accuracy and did not differ with respect to reading comprehension capacity. The simplified text was obtained by submitting the original text to the following syntactic modifications: separation of complex sentences, simplification of discursive markers, suppression of active voice and anaphora, inversion of clause order with displacement of the main clause to the beginning of the sentence, and exclusive use of the subject-verb-object order. Text simplification was verified using the Coh-Metrix-Port computational tool. Comprehension analysis through retell of the texts read determined the total of ideas (central and detailed) and retold links. Results Comparative analysis of the groups identified differences between the total of central, detailed and retold ideas, with the best performance observed in the Group ST. Students from 3rd and 4th grades benefitted the most from syntactic simplification. Conclusion Text syntactic simplification, verified by the Coh-Metrix-Port parameters, facilitated the micro-structural text processing of 3rd and 4th grade students, promoting greater retention of ideas.

Reading comprehension assessment: effect of order of task application / Avaliação da compreensão leitora: efeito da ordem de aplicação das tarefas

ABSTRACT Purpose To investigate the influence of order of reading tasks application on the reading comprehension performance by students with and without reading difficulties. Methods 40 students (4th and 5th grade) were classified according to the presence (Research Group-RG) or absence (Control Group-CG) of reading difficulties. RG-r and CG-r - 20 students (10 for each group) who retold the read text and responded to open-ended questions; RG-q and CG-q - 20 students (10 for each group) who responded to open-ended questions and then retold the read text. The analysis quantified the main idea, details and inferences retold, causal links and retelling reference standard (3-0) was also established from the best to the worst performance. Open-ended questions received one point for each correct answer. Results Open-ended questions influenced only the retelling performance of good readers. A better performance of CG-q was noted for the number of second level links retold (U=50.50, p=0.155), total of links retold (U=23,00, p=0.038) and retelling reference standard (U=24.50, p=0.039). Reading-monitoring strategies are laborious and tend to be less used by students with reading difficulties. This is because these compete directly with low-level skills (decoding and microstructure processing), losing efficiency or being abandoned in the very course of reading. Conclusion There was improvement on the retelling performance of students without reading difficulties when this task was preceded by the open-ended questions, possibly because of the use of monitoring strategies that allowed a better understanding of the link between the retained ideas, improving links and retelling reference standard.

RESUMO Objetivo Estudar a influência da resposta a questões sobre o desempenho na tarefa de reconto após leitura realizada por escolares com e sem dificuldades de leitura. Método Foram agrupados 40 escolares do 4º e 5º ano do Ensino Fundamental segundo a presença (Grupo Pesquisa-GP) ou ausência (Grupo Controle-GC) de alteração na compreensão leitora: GP-r e GC-r - 20 escolares (10 de cada grupo) que responderam a questões abertas e depois recontaram oralmente o texto lido. A análise quantificou no reconto: total de ideias centrais, detalhe e inferências; enlaces e classificou o padrão de compreensão leitora (3-0) do melhor para o pior desempenho. As questões abertas computaram um ponto para cada acerto. Resultados Questões abertas favoreceram apenas o desempenho de bons leitores no reconto. Melhor desempenho foi identificado para GC-r quando considerados os enlaces de segundo nível (U=50.50, p=0.155); total de enlaces (U=23.00, p=0.038) e de padrão do reconto (U=24.50, p=0.039). Estratégias de monitoramento de leitura são laboriosas e tendem a ser menos utilizadas por escolares com dificuldades de leitura. Isso porque essas estratégias competem diretamente com as habilidades de baixa ordem na leitura (decodificação e processamento da microestrutura). Conclusão O desempenho de escolares sem queixas em tarefa de reconto após leitura melhorou quando precedida por respostas a questões abertas, possivelmente por causa das estratégias de automonitoramento da compreensão, que permitiram melhor entendimento das relações entre as ideias retidas.

Word Decoding Task: Item Analysis by IRT and Within-Group Norms / Tarefa de Decodificação: Análise de Itens pela TRI e Normas Intragrupo

Abstract This paper reports the performance of a representative sample of 747 students (52.5% female), from 2nd to 5th year of elementary education from private and public (83.8%) schools of Sao Paulo city. The children performed the Form A of Word Reading and Spelling Task (WRST) containing 48 low-frequency words presented in a card. Data were analyzed using models of Item Response Theory. We observed high levels of accuracy. The analysis selected 24 items, which presented low to moderate discrimination and difficulty indices. There were mean differences between grades, but not sex or school type. We report percentile norms for the grades for the WRST´S (Form) Reduced Version. The results support preceding studies with the word decoding tasks in Brazilian Portuguese, which attested to the quasi-regular character of that language.

Resumo O estudo investiga o desempenho de uma amostra representativa de crianças (52,5% meninas) cursando do 2º ao 5º ano de escolas particulares e públicas (83,8%) de São Paulo (N = 747). As crianças leram em voz alta a Forma A da Prova de Leitura e de Escrita de Palavras (PLEP), constituída de 48 palavras de baixa frequência, apresentadas em um cartão. Os dados foram analisados utilizando modelos da Teoria de Resposta ao Item. Observaram-se altos índices de acurácia. Foram selecionados 24 itens, os quais apresentaram, em média, índices de discriminação e de dificuldade de baixos a moderados. Houve efeito de escolaridade, mas não de sexo ou tipo de escola. Normas em percentis foram reportadas para a versão reduzida da Forma A da PLEP. Os resultados condizem com estudos que utilizaram tarefas de decodificação de palavras no Brasil e atestam para o caráter quase-regular do idioma.

Interferência do transtorno fonológico na leitura de itens com diferentes características psicolinguísticas / Interference of phonological disorder on the reading of items with different psycholinguistic characteristics

RESUMO Introdução Transtornos de fala podem prejudicar a construção da associação fonema-grafema e afetar a decodificação e a fluência leitora. Objetivo Descrever perfis de desempenho de escolares com diagnóstico de Transtorno de Leitura (TL) e de escolares com Transtorno de Leitura associado a Transtorno Fonológico (TF), em tarefa de leitura de itens isolados, segundo as características psicolinguísticas dos itens. Métodos Foram analisados prontuários de 18 crianças com TL, pareadas por idade, escolaridade e gênero e à avaliação de outras 18, matriculadas no 4º e 5º ano do Ensino Fundamental (EF), assim distribuídas: Grupo Pesquisa 1 (GP1)=10 escolares com TL; Grupo Pesquisa 2 (GP2)=8 escolares com TL e TF; Grupo Controle pareado ao Grupo Pesquisa 1 (GC1) e Grupo Controle pareado ao Grupo Pesquisa 2 (GC2). Foram comparadas as leituras de palavras e pseudopalavras, classificadas segundo regularidade ortográfica, frequência e extensão. Os dados foram analisados estatisticamente. Resultados Valores mais baixos de taxa e acurácia foram encontrados nos grupos pesquisa, quando comparados aos grupos controle, com exceção da taxa de pseudopalavras do GP2. Ambos os grupos pesquisa mostraram desempenho estatisticamente inferior aos controles para todas as variáveis de regularidade, exceto para palavras irregulares. GP1 e GC1 tiveram desempenho semelhante na leitura de palavras monossilábicas e polissilábicas; nas trissilábicas e dissilábicas, a média do GP1 foi significativamente inferior. Entretanto, o GP2 apresentou desempenho significativamente inferior, independentemente da extensão do item. Quanto à familiaridade, o desempenho dos grupos pesquisa foi significativamente inferior para todas as variáveis, exceto para alta frequência. Conclusão Crianças com TL apresentaram bom uso da rota lexical e dificuldade para rota fonológica. O transtorno de fala de base fonológica prejudicou ambas as rotas de leitura.

ABSTRACT Introduction Speech disorders may impair the construction of phoneme-grapheme association and affect decoding and reading fluency. Purpose To describe the performance profiles of schoolchildren diagnosed with reading disorder (RD) and with reading disorder associated with phonological disorder (PD) in the task of reading of isolated items according to the psycholinguistic characteristics of such items. Methods The medical records of 36 schoolchildren enrolled at the 4th and 5th grades of elementary school were analyzed as follows: 18 children with RD were paired with other 18 children with typical development according to age, schooling, and gender. The study sample was divided into four groups: Study Group 1 (SG1), composed of 10 schoolchildren with RD; Study Group 2 (SG2), comprising eight schoolchildren with RD and PD; Control Group paired with SG1 (CG1); and CG paired with SG2 (CG2). The reading of words and pseudo words was compared with respect to orthographic regularity, frequency, and extension. The data were statistically analyzed. Results Lower values of rate and accuracy were observed in the study groups compared with those of the control groups, except for the rate of pseudo words in SG2. The study groups showed lower statistical results than the control groups for all regularity variables, except for irregular words. SG1 and CG1 presented similar performance in the reading of monosyllabic and polysyllabic words. Regarding trisyllabic and dissyllable words, significantly lower mean values were found in SG1 compared with those of CG1; however, SG2 showed significantly lower performance regardless of item extension. Performance of the study groups with respect to item familiarity was significantly lower for all variables, except for high frequency. Conclusion Children with RD present good use of the lexical route and difficulty with the phonological route. Phonological speech disorder impairs the performance of schoolchildren on both reading routes.

Estudo de fidedignidade do avaliador em provas de compreensão leitora e oral / Inter-rater reliability investigation for reading and oral comprehension tasks / Investigación de la fiabilidad entre evaluadores en pruebas de comprensión lectora y oral

A fidedignidade do avaliador refere-se ao grau em que diferentes avaliadores empregam os mesmos critérios na correção de testes. Neste estudo, investiga-se a fidedignidade do avaliador de uma prova de compreensão leitora e outra de compreensão oral. A Prova de Compreensão Leitora (PCL) é composta por 15 textos, divididos em duas aplicações (Forma A e Forma B), e contendo questões abertas (respondidas oralmente). A Prova de Compreensão Oral (PCO) é formada por oito questões orais a uma narrativa ouvida (gravação). A amostra foi composta por 218 crianças do 2º ao 5º ano de escolas públicas de São Paulo (73 na Forma A; 56 na Forma B; 89 na PCO) e nove avaliadores (três para cada prova). A concordância foi calculada por meio do Fleiss de Kappa. A maioria dos itens apresentou níveis de concordância adequados, atestando para a homogeneidade na correção das duas Provas.

Inter-rater reliability is the degree to which different examiners employ the same criteria for evaluating test results. The present study aims to investigate the inter-rater reliability for two tasks, one of reading comprehension and another for oral comprehension. The Reading Comprehension Task consists of 15 texts divided into two blocks (Form A and Form B), followed by orally answered openended questions. The Oral Comprehension Task (OCT) contains eight open-ended questions for a narrative (orally answered and recorded). The sample consisted of 218 children from 2nd to 5th year of elementary school in Sao Paulo (73 in Form A; 56 in Form B; 89 in OCT) and nine examiners (three for each form). Fleiss' Kappa was used to obtain the reliability index. Most items had adequate levels of agreement, which evidenced the consistency of the correction system.

La fiabilidad del evaluador se refiere al grado en que los diferentes evaluadores emplean los mismos criterios en la corrección de los testes. En este estudio, se investiga la fiabilidad del evaluador en prueba de comprensión lectora y otra de comprensión oral. La prueba de comprensión lectora (PCL) consta de 15 textos, divididos en dos bloques de aplicación (Formulario A y Formulario B) y contienen preguntas abiertas relacionadas. La Prueba de Comprensión Oral (PCO) consta de ocho cuestiones orales sobre una narrativa oída (grabación). La muestra fue compuesta por 218 niños de segundo a quinto primaria de escuelas públicas de San Pablo (73 en el Formulario A; 56 en el Formulario B; 89 en la PCO) y nueve evaluadores (tres para cada prueba). Se calculó el acuerdo con Fleiss de Kappa. La mayoría de los ítems presentó niveles adecuados de concordancia, indicando homogeneidad en la corrección de las dos pruebas.

Estudo de fidedignidade do avaliador em provas de compreensão leitora e oral / Inter-rater reliability investigation for reading and oral comprehension tasks / Investigación de la fiabilidad entre evaluadores en pruebas de comprensión lectora y oral

A fidedignidade do avaliador refere-se ao grau em que diferentes avaliadores empregam os mesmos critérios na correção de testes. Neste estudo, investiga-se a fidedignidade do avaliador de uma prova de compreensão leitora e outra de compreensão oral. A Prova de Compreensão Leitora (PCL) é composta por 15 textos, divididos em duas aplicações (Forma A e Forma B), e contendo questões abertas (respondidas oralmente). A Prova de Compreensão Oral (PCO) é formada por oito questões orais a uma narrativa ouvida (gravação). A amostra foi composta por 218 crianças do 2º ao 5º ano de escolas públicas de São Paulo (73 na Forma A; 56 na Forma B; 89 na PCO) e nove avaliadores (três para cada prova). A concordância foi calculada por meio do Fleiss de Kappa. A maioria dos itens apresentou níveis de concordância adequados, atestando para a homogeneidade na correção das duas Provas.

Inter-rater reliability is the degree to which different examiners employ the same criteria for evaluating test results. The present study aims to investigate the inter-rater reliability for two tasks, one of reading comprehension and another for oral comprehension. The Reading Comprehension Task consists of 15 texts divided into two blocks (Form A and Form B), followed by orally answered openended questions. The Oral Comprehension Task (OCT) contains eight open-ended questions for a narrative (orally answered and recorded). The sample consisted of 218 children from 2nd to 5th year of elementary school in Sao Paulo (73 in Form A; 56 in Form B; 89 in OCT) and nine examiners (three for each form). Fleiss’ Kappa was used to obtain the reliability index. Most items had adequate levels of agreement, which evidenced the consistency of the correction system.

La fiabilidad del evaluador se refiere al grado en que los diferentes evaluadores emplean los mismos criterios en la corrección de los testes. En este estudio, se investiga la fiabilidad del evaluador en prueba de comprensión lectora y otra de comprensión oral. La prueba de comprensión lectora (PCL) consta de 15 textos, divididos en dos bloques de aplicación (Formulario A y Formulario B) y contienen preguntas abiertas relacionadas. La Prueba de Comprensión Oral (PCO) consta de ocho cuestiones orales sobre una narrativa oída (grabación). La muestra fue compuesta por 218 niños de segundo a quinto primaria de escuelas públicas de San Pablo (73 en el Formulario A; 56 en el Formulario B; 89 en la PCO) y nueve evaluadores (tres para cada prueba). Se calculó el acuerdo con Fleiss de Kappa. La mayoría de los ítems presentó niveles adecuados de concordancia, indicando homogeneidad en la corrección de las dos pruebas.

Syntactic markers in the oral retelling of dyslexic students.

PURPOSES: To investigate, in the oral retelling after reading process, the syntactic markers capable of characterizing different clinical groups of developmental reading disabilities. METHODS: Thirty-two Brazilian students were evaluated: dyslexic group (DG) - 16 individuals were diagnosed with developmental dyslexia; control group (CG) - 16 individuals did not present reading difficulties when compared with the DG by age, gender, and educational level. They all read one narrative and one expository text and orally retold what was read. The retellings were recorded, transcribed, and analyzed via Coh-Metrix-Port . The performances were statistically analyzed using productivity indexes, lexical diversity, grammar skills, and complexity. RESULTS: DG showed a lower average of correct sentences in the narrative and expository retellings, fewer words per sentence, and a lower incidence of content words in the expository retelling. CONCLUSION: The analysis of the microstructure of retellings differentiated the groups' performances. Dyslexic students presented lower grammar skills for narrative and expository text retellings. Fewer words per sentence and a lower incidence of content words characterized the retellings of expository texts by dyslexic students, possibly a consequence of a higher cognitive demand to the reading comprehension of this type of text.

Construção de uma prova para avaliação da compreensão leitora no ensino fundamental: estudo piloto / Construction of a task for assessing reading comprehension in elementary school: pilot study / Construcción de instrumento para evaluación de la comprensión lectora en la primaria de la educación básica: estudio piloto

A compreensão da leitura é o processo pelo qual se extrai significados e se constrói uma representação mental do conteúdo lido, o que requer o bom funcionamento de habilidades cognitivas e linguísticas. No Brasil, há uma carência de instrumentos de avaliação da compreensão leitora que apresentem estudos de validade, fidedignidade e indicadores da qualidade psicométrica dos itens. O presente estudo piloto relata alguns procedimentos psicométricos da construção de uma Prova de Avaliação da Compreensão Leitora para crianças. Alunos do 3º ao 5º ano do Ensino Fundamental de uma escola pública da cidade de São Paulo (N =81) leram sete textos (narrativos e expositivos) e responderam a questões abertas relacionadas. Para a análise dos dados, consideraram-se: (a) os efeitos do texto utilizado, dos processos cognitivos envolvidos na resolução das questões e do ano escolar na precisão das respostas (ANOVAS para medidas repetidas); (b) os parâmetros psicométricos de discriminação e dificuldade dos itens (Teoria de Resposta ao Item). Conforme esperado, as ANOVAS mostraram que a precisão foi menor para os textos mais complexos, para as questões que exigiam uso de inferências, elaboração ou construção de uma representação textual e para as crianças mais jovens. A análise dos itens mostrou que a maioria das questões apresentou índices baixos de discriminação e funcionaram mais para níveis baixos de habilidade. Os resultados indicam que em geral os itens criados mostraram-se promissores para a avaliação da compreensão leitora na faixa etária investigada, mas também apontam a necessidade de ajustes em alguns textos e questões...

Reading comprehension is the process of extracting meanings and building a mental representation of the read content, which requires the proper functioning of cognitive and linguistic skills. In Brazil, there is a lack of instruments for the assessment of reading comprehension that report validity, reliability, and analysis of the items. This pilot study reports some psychometric procedures of a Task of Reading Comprehension for Children. Students (N =81) from third to fifth year of a public school in the city of São Paulo read seven texts (narrative or expository) and answered open questions. It was analyzed: (a) three main effects on accuracy, namely, the text, the cognitive process used to solve the questions, and the school grade (ANOVA for repeated measures); (b) the psychometric parameters of difficulty and discrimination (Item Response Theory). As expected, the ANOVA showed that the accuracy was lower: (a) for the more complex texts; (b) for three kind of questions: inferential, elaborative, and the ones that required the construction a mental representation of the text; (c) the younger children. Item analysis showed that most questions presented low discrimination indices and functioned to lower levels of ability. The results indicate that, in general, the items proved promising for the assessment of reading comprehension for the age range investigated, but they also point to the need for adjustments in some texts and questions...

La comprensión lectora es el proceso por lo cual se extrae el significado y se construye una representación mental del contenido, lo que exige del lector adecuados conocimientos cognitivos y lingüísticos. En Brasil, el restricto número de testes para evaluar la comprensión lectora es conocido y a estos instrumentos les faltan estudios de validez, fiabilidad y presentación de la calidad psicométrica de sus ítems. Aquí se presenta el estudio piloto que reporta los procedimientos psicométricos de construcción de una prueba de comprensión lectora para niños. Estudiantes de tercero a quinto primaria de la Educación Básica de una escuela pública de San Pablo (N =81) leyeron siete textos y contestaron preguntas. El análisis de los datos consideró: (a) efectos del texto, de los procesos cognitivos implicados en la contestación a las cuestiones planteadas y de la escolaridad sobre la precisión de las respuestas (Análisis de varianza para medidas repetidas); (b) parámetros psicométricos de discriminación e dificultad de los ítems (Teoría de Respuestas a Ítems). El análisis de ítems mostró que la precisión fue menor para los textos complejos, para las cuestiones inferenciales, elaborativas o que envolvían la construcción de una representación textual, y además, para los niños más jóvenes. El análisis de los ítems mostró que las cuestiones, en general, presentaran bajos valores de discriminación y se han adaptado a los bajos niveles de habilidad. Los resultados indican que los ítems son prometedores para evaluar la comprensión lectora de niños, pero también sugieren la necesidad de modificaciones en algunos textos y cuestiones...

Influência da modalidade de reconto na avaliação do desempenho de escolares em compreensão leitora / Influence of retelling modality on reading comprehension assessment

Este estudo buscou estudar a influência da modalidade de reconto sobre a avaliação da compreensão leitora. Avaliaram-se 34 escolares do 2º ao 5º ano do Ensino Fundamental, sem queixas de leitura, agrupados em: 1) Grupo Reconto Oral: 19 crianças que recontaram oralmente texto narrativo e expositivo lidos; 2) Grupo Reconto Escrito: 15 que o fizeram por escrito. A análise dos recontos quantificou proposições de ideia central, detalhe, inferências e número de enlaces. Estabeleceu-se, também, o padrão de compreensão (3-0, do melhor para o pior desempenho). Resultados evidenciaram semelhanças entre as médias de desempenho dos grupos nas variáveis do reconto de texto narrativo. Para o expositivo, houve diferença para enlaces de primeiro nível (t = -2,114, p = 0,042), com maior média do Grupo reconto escrito. Concluiu-se, portanto, que a modalidade do reconto não influenciou a avaliação da compreensão de textos narrativos, mas o reconto escrito de textos expositivos favoreceu o aparecimento de enlaces entre ideias centrais.(AU)

The aim of the present study was to investigate the influence of the retelling strategy modality on the assessment of reading comprehension. Thirty-four 2nd-5th grade students (elementary school) without reading difficulties were evaluated and grouped as follows: Group 1. Oral retelling: students orally reconstructed narrative and expository texts they read (19 students); Group 2. Writing retelling: students retold these same stories in writing (15 students). The analysis conducted assessed retelling in terms of: proposition of central idea, details, inferences, and number of links. A performance reference standard (3-0) was also established from the best to the worst performance. The results obtained showed similarity between the average performance of the variables of the oral narrative text retelling groups. As for the expository texts, there were differences in the first level of links (t = -2.114, p = 0.042), and the highest average performance was found for the writing retelling group. It can be concluded that the retelling strategy modality did not influence the evaluation of the understanding of narrative texts, but the written retelling of expository texts influenced the connection of central ideas.(AU)

Construção de uma prova para avaliação da compreensão leitora no ensino fundamental: estudo piloto / Construction of a task for assessing reading comprehension in elementary school: pilot study / Construcción de instrumento para evaluación de la comprensión lectora en la primaria de la educación básica: estudio piloto

A compreensão da leitura é o processo pelo qual se extrai significados e se constrói uma representação mental do conteúdo lido, o que requer o bom funcionamento de habilidades cognitivas e linguísticas. No Brasil, há uma carência de instrumentos de avaliação da compreensão leitora que apresentem estudos de validade, fidedignidade e indicadores da qualidade psicométrica dos itens. O presente estudo piloto relata alguns procedimentos psicométricos da construção de uma Prova de Avaliação da Compreensão Leitora para crianças. Alunos do 3º ao 5º ano do Ensino Fundamental de uma escola pública da cidade de São Paulo (N =81) leram sete textos (narrativos e expositivos) e responderam a questões abertas relacionadas. Para a análise dos dados, consideraram-se: (a) os efeitos do texto utilizado, dos processos cognitivos envolvidos na resolução das questões e do ano escolar na precisão das respostas (ANOVAS para medidas repetidas); (b) os parâmetros psicométricos de discriminação e dificuldade dos itens (Teoria de Resposta ao Item). Conforme esperado, as ANOVAS mostraram que a precisão foi menor para os textos mais complexos, para as questões que exigiam uso de inferências, elaboração ou construção de uma representação textual e para as crianças mais jovens. A análise dos itens mostrou que a maioria das questões apresentou índices baixos de discriminação e funcionaram mais para níveis baixos de habilidade. Os resultados indicam que em geral os itens criados mostraram-se promissores para a avaliação da compreensão leitora na faixa etária investigada, mas também apontam a necessidade de ajustes em alguns textos e questões.(AU).

Reading comprehension is the process of extracting meanings and building a mental representation of the read content, which requires the proper functioning of cognitive and linguistic skills. In Brazil, there is a lack of instruments for the assessment of reading comprehension that report validity, reliability, and analysis of the items. This pilot study reports some psychometric procedures of a Task of Reading Comprehension for Children. Students (N =81) from third to fifth year of a public school in the city of São Paulo read seven texts (narrative or expository) and answered open questions. It was analyzed: (a) three main effects on accuracy, namely, the text, the cognitive process used to solve the questions, and the school grade (ANOVA for repeated measures); (b) the psychometric parameters of difficulty and discrimination (Item Response Theory). As expected, the ANOVA showed that the accuracy was lower: (a) for the more complex texts; (b) for three kind of questions: inferential, elaborative, and the ones that required the construction a mental representation of the text; (c) the younger children. Item analysis showed that most questions presented low discrimination indices and functioned to lower levels of ability. The results indicate that, in general, the items proved promising for the assessment of reading comprehension for the age range investigated, but they also point to the need for adjustments in some texts and questions.(AU).

La comprensión lectora es el proceso por lo cual se extrae el significado y se construye una representación mental del contenido, lo que exige del lector adecuados conocimientos cognitivos y lingüísticos. En Brasil, el restricto número de testes para evaluar la comprensión lectora es conocido y a estos instrumentos les faltan estudios de validez, fiabilidad y presentación de la calidad psicométrica de sus ítems. Aquí se presenta el estudio piloto que reporta los procedimientos psicométricos de construcción de una prueba de comprensión lectora para niños. Estudiantes de tercero a quinto primaria de la Educación Básica de una escuela pública de San Pablo (N =81) leyeron siete textos y contestaron preguntas. El análisis de los datos consideró: (a) efectos del texto, de los procesos cognitivos implicados en la contestación a las cuestiones planteadas y de la escolaridad sobre la precisión de las respuestas (Análisis de varianza para medidas repetidas); (b) parámetros psicométricos de discriminación e dificultad de los ítems (Teoría de Respuestas a Ítems). El análisis de ítems mostró que la precisión fue menor para los textos complejos, para las cuestiones inferenciales, elaborativas o que envolvían la construcción de una representación textual, y además, para los niños más jóvenes. El análisis de los ítems mostró que las cuestiones, en general, presentaran bajos valores de discriminación y se han adaptado a los bajos niveles de habilidad. Los resultados indican que los ítems son prometedores para evaluar la comprensión lectora de niños, pero también sugieren la necesidad de modificaciones en algunos textos y cuestiones.(AU).

Influência da modalidade de reconto na avaliação do desempenho de escolares em compreensão leitora / Influence of retelling modality on reading comprehension assessment

Este estudo buscou estudar a influência da modalidade de reconto sobre a avaliação da compreensão leitora. Avaliaram-se 34 escolares do 2º ao 5º ano do Ensino Fundamental, sem queixas de leitura, agrupados em: 1) Grupo Reconto Oral: 19 crianças que recontaram oralmente texto narrativo e expositivo lidos; 2) Grupo Reconto Escrito: 15 que o fizeram por escrito. A análise dos recontos quantificou proposições de ideia central, detalhe, inferências e número de enlaces. Estabeleceu-se, também, o padrão de compreensão (3-0, do melhor para o pior desempenho). Resultados evidenciaram semelhanças entre as médias de desempenho dos grupos nas variáveis do reconto de texto narrativo. Para o expositivo, houve diferença para enlaces de primeiro nível (t = -2,114, p = 0,042), com maior média do Grupo reconto escrito. Concluiu-se, portanto, que a modalidade do reconto não influenciou a avaliação da compreensão de textos narrativos, mas o reconto escrito de textos expositivos favoreceu o aparecimento de enlaces entre ideias centrais.

The aim of the present study was to investigate the influence of the retelling strategy modality on the assessment of reading comprehension. Thirty-four 2nd-5th grade students (elementary school) without reading difficulties were evaluated and grouped as follows: Group 1. Oral retelling: students orally reconstructed narrative and expository texts they read (19 students); Group 2. Writing retelling: students retold these same stories in writing (15 students). The analysis conducted assessed retelling in terms of: proposition of central idea, details, inferences, and number of links. A performance reference standard (3-0) was also established from the best to the worst performance. The results obtained showed similarity between the average performance of the variables of the oral narrative text retelling groups. As for the expository texts, there were differences in the first level of links (t = -2.114, p = 0.042), and the highest average performance was found for the writing retelling group. It can be concluded that the retelling strategy modality did not influence the evaluation of the understanding of narrative texts, but the written retelling of expository texts influenced the connection of central ideas.

Marcadores sintáticos no reconto oral de escolares disléxicos / Syntactic markers in the oral retelling of dyslexic students

RESUMO Objetivo: Caracterizar marcadores sintáticos na expressão oral de escolares disléxicos em tarefa de reconto oral da leitura de textos. Métodos: Avaliou-se 32 escolares que compuseram dois grupos: Grupo Dislexia (GD) - 16 com diagnóstico de dislexia do desenvolvimento, Grupo Controle (GC) - 16 sem queixas de leitura, pareados ao GD por idade, gênero e escolaridade. Todos leram um texto narrativo e um expositivo e os recontaram oralmente. Os recontos foram gravados, transcritos e analisados por meio doCoh-Metrix-Port. Analisou-se, estatisticamente, o desempenho por meio dos índices de produtividade, de diversidade lexical, de complexidade e de competências gramaticais. Resultados: GD mostrou menor média de sentenças corretas em recontos narrativos e expositivos, menor número de palavras por sentença e incidência de palavras de conteúdo para o expositivo. Conclusão: Escolares disléxicos apresentaram menor competência gramatical ao recontarem textos narrativos e expositivos. Menos palavras por sentença e menor incidência de palavras de conteúdo também caracterizaram o reconto de textos expositivos na dislexia, possível efeito da maior demanda cognitiva imposta pelo tipo de texto à compreensão leitora.

ABSTRACT Purposes: To investigate, in the oral retelling after reading process, the syntactic markers capable of characterizing different clinical groups of developmental reading disabilities. Methods: Thirty-two Brazilian students were evaluated: dyslexic group (DG) - 16 individuals were diagnosed with developmental dyslexia; control group (CG) - 16 individuals did not present reading difficulties when compared with the DG by age, gender, and educational level. They all read one narrative and one expository text and orally retold what was read. The retellings were recorded, transcribed, and analyzed via Coh-Metrix-Port . The performances were statistically analyzed using productivity indexes, lexical diversity, grammar skills, and complexity. Results: DG showed a lower average of correct sentences in the narrative and expository retellings, fewer words per sentence, and a lower incidence of content words in the expository retelling. Conclusion: The analysis of the microstructure of retellings differentiated the groups' performances. Dyslexic students presented lower grammar skills for narrative and expository text retellings. Fewer words per sentence and a lower incidence of content words characterized the retellings of expository texts by dyslexic students, possibly a consequence of a higher cognitive demand to the reading comprehension of this type of text.

Fluência e compreensão leitora em escolares com dificuldades de leitura / Fluency and reading comprehension in students with reading difficulties

OBJETIVO: Caracterizar o desempenho de escolares com dificuldade de leitura, em tarefas de decodificação e compreensão leitora e buscar correlações entre ambas. MÉTODOS: Foram avaliados 60 escolares (29 meninas) que cursavam do 3º ao 5º ano do Ensino Fundamental na rede pública do município de São Paulo. Trinta escolares (Grupo Pesquisa - GP), dez de cada ano, foram indicados por seus professores por apresentarem queixas ou indícios de dificuldades de leitura. Outros trinta, indicados como bons leitores, pareados por gênero, idade e escolaridade ao GP, compuseram o Grupo de Comparação (GC). Todos os escolares foram avaliados quanto aos parâmetros de fluência de leitura de itens isolados (palavras e pseudopalavras) e texto, e de compreensão leitora de texto narrativo (nível de leitura, número e tipo de ideias identificadas, acertos às questões de múltipla escolha). RESULTADOS: O GP apresentou valores de fluência e compreensão leitoras mais baixos que o GC. Diferentes padrões de correlações positivas e negativas, de fracas a ótimas, entre os parâmetros de decodificação e compreensão foram encontradas nos dois grupos. No GP foram observados baixos valores de taxa e acurácia de leitura correlacionados a baixos valores de compreensão e melhora da decodificação, mas não da compreensão, conforme avançaram os anos escolares. No GC, observou-se correlação entre os diferentes parâmetros de fluência avaliados, mas nenhum desses parâmetros correlacionou-se com as variáveis de compreensão leitora. CONCLUSÃO: Os escolares com dificuldades de leitura e de escrita apresentam baixos valores de parâmetros da fluência e da compreensão leitora. Fluência e compreensão correlacionam-se no grupo com dificuldades, mostrando que as alterações da decodificação influenciam a compreensão leitora, a qual não melhora com a escolaridade.

PURPOSE: To characterize the performance of students with reading difficulties in decoding and reading comprehension tasks as well as to investigate the possible correlations between them. METHODS: Sixty students (29 girls) from 3rd to 5th grades of public Elementary Schools were evaluated. Thirty students (Research Group - RG), ten from each grade, were nominated by their teachers as presenting evidences of learning disabilities. The other thirty students were indicated as good readers, and were matched by gender, age and grade to the RG, composing the Comparison Group (CG). All subjects were assessed regarding the parameters of reading fluency (rate and accuracy in words, pseudowords and text reading) and reading comprehension (reading level, number and type of ideas identified, and correct responses on multiple choice questions). RESULTS: The RG presented significantly lower scores than the CG in fluency and reading comprehension. Different patterns of positive and negative correlations, from weak to excellent, among the decoding and comprehension parameters were found in both groups. In the RG, low values of reading rate and accuracy were observed, which were correlated to low scores in comprehension and improvement in decoding, but not in comprehension, with grade increase. In CG, correlation was found between different fluency parameters, but none of them was correlated to the reading comprehension variables. CONCLUSION: Students with reading and writing difficulties show lower values of reading fluency and comprehension than good readers. Fluency and comprehension are correlated in the group with difficulties, showing that deficits in decoding influence reading comprehension, which does not improve with age increase.

Fluency and reading comprehension in students with reading difficulties.

PURPOSE: To characterize the performance of students with reading difficulties in decoding and reading comprehension tasks as well as to investigate the possible correlations between them. METHODS: Sixty students (29 girls) from 3rd to 5th grades of public Elementary Schools were evaluated. Thirty students (Research Group - RG), ten from each grade, were nominated by their teachers as presenting evidences of learning disabilities. The other thirty students were indicated as good readers, and were matched by gender, age and grade to the RG, composing the Comparison Group (CG). All subjects were assessed regarding the parameters of reading fluency (rate and accuracy in words, pseudowords and text reading) and reading comprehension (reading level, number and type of ideas identified, and correct responses on multiple choice questions). RESULTS: The RG presented significantly lower scores than the CG in fluency and reading comprehension. Different patterns of positive and negative correlations, from weak to excellent, among the decoding and comprehension parameters were found in both groups. In the RG, low values of reading rate and accuracy were observed, which were correlated to low scores in comprehension and improvement in decoding, but not in comprehension, with grade increase. In CG, correlation was found between different fluency parameters, but none of them was correlated to the reading comprehension variables. CONCLUSION: Students with reading and writing difficulties show lower values of reading fluency and comprehension than good readers. Fluency and comprehension are correlated in the group with difficulties, showing that deficits in decoding influence reading comprehension, which does not improve with age increase.

Parâmetros de fluência e tipos de erros na leitura de escolares com indicação de dificuldades para ler e escrever / Fluency parameters and types of errors in the reading of students with signs of reading and writing difficulties

OBJETIVO: Caracterizar o desempenho de escolares com indicação de dificuldades de leitura e escrita, segundo o ano escolar, categorias de erros, parâmetros de fluência leitora e as correlações entre essas variáveis. MÉTODOS: Foram avaliadas 60 crianças (48 por cento meninas), do 3º ao 5º ano do Ensino Fundamental da rede pública. Trinta (dez de cada ano) que apresentavam indícios de dificuldades relacionadas ao aprendizado ou desempenho de leitura e escrita, compuseram o Grupo Pesquisa. Trinta, pareadas por idade e ano escolar, indicadas pelos professores como boas leitoras, compuseram o Grupo Controle. Todas leram, oralmente, duas listas de itens isolados (38 palavras e 29 pseudopalavras) e um texto. As leituras foram gravadas, transcritas e os parâmetros e erros, analisados. RESULTADOS: Foram encontradas diferenças entre os grupos, com pior desempenho do Grupo Pesquisa em todas as variáveis estudadas. Os tipos de erros de leitura: desrespeito à regra de correspondência independente do contexto, omissões e adições, desrespeito à acentuação, erros complexos e recusas foram mais frequentes nesse grupo. As taxas e valores de fluência mostraram-se mais baixos nos escolares com queixas em relação aos bons leitores. Correlações negativas foram identificadas entre as variáveis de fluência de leitura e os diferentes erros, com diferentes valores para cada grupo e mostraram nessa amostra de escolares, que o número total de erros diminuiu com a progressão da escolaridade. CONCLUSÃO: Os escolares com indicação de dificuldades de leitura e de escrita apresentaram piores desempenhos de fluência na leitura, e maior número de erros em todos os anos escolares estudados. As correlações encontradas evidenciaram a influência do tipo de erro sobre a fluência da leitura, segundo diferentes padrões para cada grupo.

PURPOSE: To characterize the performance of students with signs of reading and writing difficulties, according to the school grade, error categories, reading fluency parameters, and the correlation between these variables. METHODS: Sixty children (48 percent girls), 3rd to the 5th grade students of public elementary schools, were evaluated. Thirty (ten from each grade) who presented signs of reading and writing difficulties composed the Research Group. Thirty children, paired by age and school grade, classified by their teachers as good readers, composed the Control Group. All subjects read aloud two lists of isolated items (38 words and 29 pseudowords) and a text. The reading sessions were recorded and transcribed, and parameters and errors were analyzed. RESULTS: Differences were found between the groups, and the Research Group had worse performances in all the studied variables. The following types of reading errors were more frequent in this group: non-compliance with the context-independent matching rule, omissions and additions, non-compliance with stress, complex errors, and refusals. Fluency rates and values were lower in the students with reading complaints, when compared to the good readers. Negative correlations were identified between reading fluency variables and the different types of errors, with different correlation values for each group, and showed that, in the present sample, the total number of errors decreased with school progression. CONCLUSION: The students with signs of reading and writing difficulties had worse reading fluency performance, and higher number of errors in all the grades studied. The correlations found evidenced the influence of the type of error on reading fluency, according to different patterns for each group.